Khương Thượng là người ở Đông Hải (東海; nay là huyện Cử, Sơn Đông). Tổ tiên ông là Lã Bá Di, từng làm chức Tứ nhạc giúp Hạ Vũ trị thủy có công. Sử ký xác định tổ tiên ông được phong ở đất Lã vào khoảng thời Thuấn đến thời nhà Hạ.

Vào thời Tiên Tần, một người quyền quý thường có hai loại họ, một là họ của tổ tiên (Tính; 姓), thứ là họ của Thị tộc (Thị; 氏). Họ tổ tiên của ông là Khương (姜), do thị tộc của ông ở đất Lã từ đó lấy Lã (呂) làm họ của thị tộc. Tên thật của ông là Thượng, còn biểu tự của ông có hai thuyết, một là Tử Nha, hai là Thượng Phụ (Thượng Phụ có thể là tích khi Văn Vương qua đời phó thác Võ Vương cho Tử Nha. Võ Vương tôn kính gọi ông là Thượng Phụ). Khi ấy biểu tự là tên được đặt của một người quyền quý đánh dấu sự trưởng thành, và khi giao du bên ngoài người ta hay gọi biểu tự của nhau để giữ sự tôn trọng.

Vào thời Ngũ Hồ Thập lục quốc, Lã Quang nhận Lã Thượng làm tổ tiên, nên truy tôn làm Thủy Tổ (始祖).